Theo truyền thuyết từ những năm 1950, Julian Santana Barrera là người trông nom tại hòn đảo. Một ngày, ông tìm thấy một cô gái bị chết đuối. Ngay sau đó, ông cũng tìm thấy một con búp bê trôi dạt gần đó. Cho rằng con búp bê kia thuộc về cô gái, ông bắt đầu treo nó lên cây như cách thể hiện sự tôn trọng và cầu nguyện cho linh hồn nhỏ kia.[1][2]

Cũng có nguồn tin khác cho rằng năm 1920, có một cô bé bị chết đuối tại một hòn đảo nhỏ phía nam Mexico. Linh hồn cô bé không được siêu thoát nên người dân địa phương thỉnh thoảng lại nghe những âm thanh kỳ lạ phát ra từ hòn đảo. Cuối thập niên 1950, Barrera đến định cư tại đây. Barrera tin rằng tất cả búp bê đều có linh hồn nên ông thu nhặt, dùng cả nông sản đổi lấy những con búp bê bất kể mới cũ, xấu đẹp treo khắp đảo để làm bạn với cô gái đã chết đuối. Thậm chí, ông còn làm một miếu thờ nhỏ để thờ cô bé cùng các con búp bê.[3]

Barrera sau đó bắt đầu nghe thấy những tiếng thì thầm, la hét hay tiếng bước chân trong bóng tối. Để xoa dịu linh hồn lang bạt, ông bắt đầu thu thập và treo thêm nhiều búp bê lên các cây trên khắp hòn đảo.[4][5] Ông đưa cho họ những hoa trái, rau củ mà ông trồng được trên đảo và đổi lại họ cho ông búp bê cũ.[6] Nếu con búp bê đó thiếu tay, chân hoặc đầu, ông sẽ lấy bộ phận thừa từ những con búp bê khác lắp vào. Sau khi việc sửa chữa hoàn tất, ông sẽ treo chúng lên những cành cây hoặc bụi cây trên khắp hòn đảo hoặc đóng đinh chúng trên những hàng rào hoặc giá để dụng cụ của các nông dân, ngoài ra ông cũng căng thêm dây để có thể treo được nhiều búp bê hơn.[7] Lâu dần, những con búp bê này trở thành nơi trú ngụ cho những côn trùng như kiến, nhện và sâu bọ. Du khách có thể bắt gặp những con sâu hoặc nhện bò quanh mắt hoặc miệng của búp bê.[8]

Trong suốt 50 năm, hòn đảo được phủ kín bởi hàng trăm đến hàng nghìn con búp bê. Những con búp bê hiện đều trong tình trạng phân rã.[9] Năm 2001, người ta tìm thấy Barrera cũng bị chết đuối đúng vị trí ông tìm thấy xác cô gái.[4][10][11]